Explaining Image Similarity with Automatically Extracted Concept Activation Vectors
自动提取概念激活向量解释图像相似性
🧭 可解释AI · 概念向量
Bielefeld University - Faculty of Technology · University of Zagreb - Faculty of Electrical Engineering and Computing
用稀疏自编码器自动发现概念方向，通过嵌入扰动解释图像相似度的全局因素
📌 工作参考价值（4 点）
- 商品图像相似性解释：在电商图像搜索或推荐中，可利用本方法自动发现颜色、纹理、形状等概念，解释为何两个商品图像被判定相似，增强用户信任。
- 多模态对齐的全局解释：该方法模型无关、度量无关，可直接嵌入现有视觉-文本对齐流程，为召回的图文对提供概念重要性排序与归因热力图。
- 范例检索复用：借鉴“Exemplar Retrieval”的思路，从商品库中挖掘与当前 pair 具有相似解释概念的案例，辅助人工审核或生成自然语言解释。
- 数据分布保真扰动：潜空间概念扰动比像素空间篡改更符合真实数据分布，可用于推荐系统的反事实解释生成，避免产生不自然的反事实样例。